D. 06/08/2004

5.3. Monitoraggio e valutazione di un'attività di e-learning. Il monitoraggio e la valutazione costituiscono due fattori fondamentali a garanzia del livello di qualità della formazione nelle varie fasi che la caratterizzano e sotto il profilo dei risultati raggiunti. La citata direttiva 13 dicembre 2001 ha già offerto l'opportunità di sottolineare l'importanza delle attività di monitoraggio e valutazione, prevedendo espressamente che «La formazione dovrà essere sviluppata attraverso un sistema di governo, di monitoraggio e controllo che consenta di valutarne l'efficacia e la qualita». Nella stessa direttiva, inoltre, viene evidenziato che le azioni di monitoraggio e di valutazione hanno lo scopo di rilevare la qualità dei contenuti, il grado di corrispondenza del progetto e delle azioni alle esigenze del personale, nonchè la qualità sotto il profilo operativo e gestionale: rientrano in questo contesto l'adeguatezza degli strumenti di formazione alle attività a cui si riferiscono ed i sistemi di controllo della qualità durante i percorsi formativi. Nel documento in parola, inoltre, è dato rilievo all'attività di valutazione delle competenze al fine dell'individuazione del fabbisogno formativo e della definizione di politiche e piani di sviluppo, nonchè, e soprattutto, all'attività di valutazione degli interventi formativi. Sotto questo profilo occorre individuare non soltanto il gradimento dei singoli partecipanti, ma anche il loro livello e la loro capacità di apprendimento e i risultati da ciascuno raggiunti: l'obiettivo, infatti, è quello di verificare la portata del cambiamento che si è verificato nell'amministrazione in esito alle attività formative effettuate. Anche le azioni di monitoraggio di un processo formativo di e-learning - che prevede sia la presenza in aula che la formazione a distanza (blended) - si inquadrano nel percorso delineato e comprendono attività di valutazione, che possono essere finalizzate alla stima: della gestione delle azioni formative; dei risultati dei processi formativi; delle competenze, cioè alla corretta in- dividuazione dei fabbisogni formativi e al raggiungimento dei risultati formativi attesi.

5.3.1. Valutazione delle competenze. Per «competenza» si intende qui l'integrazione di conoscenze, di capacità e comportamenti organizzativi che la persona è in grado di porre in atto per realizzare i risultati professionali richiesti dal processo di erogazione di un servizio, sia esso interno o esterno all'organizzazione. La valutazione delle competenze presuppone che siano preliminarmente definiti: i processi fondamentali di servizio che caratterizzano l'organizzazione; i profili professionali di riferimento e il loro posizionamento rispetto ai processi anzidetti; le specifiche professionalità di ciascun profilo (in relazione alle diverse fasi dei processi) e gli elementi che le caratterizzano; i processi che consentono di giudicare il patrimonio di competenze posseduto dalle persone e di stimarne il livello acquisito. La valutazione delle competenze - che richiede comunque sempre anche l'autovalutazione da parte del destinatario dell'azione formativa - è compito del dirigente responsabile dell'azione e si realizza attraverso il confronto tra il profilo di competenza atteso e quello posseduto.

5.3.2. Monitoraggio. Il monitoraggio consiste nella rilevazione sistematica dei dati - di natura organizzativa, gestionale e attinenti alla funzionalità (anche tecnologica) - legati ai processi di erogazione dell'attività formativa. Questa rilevazione è finalizzata al controllo, all'eventuale modifica e, in ultima analisi, all'ottimizzazione dei processi formativi stessi. Durante l'azione di monitoraggio vengono rilevati, e ponderati, gli indicatori necessari a verificare - prima dell'avvio del progetto (ex ante), durante lo svolgimento (in itinere) e dopo la conclusione dello stesso (ex post) - la corrispondenza tra il programma definito e la sua realizzazione, compresa l'analisi degli eventuali elementi critici o di rischio. Formano oggetto di attenzione del monitoraggio: i processi di erogazione della formazione sia in aula che a distanza, ovvero: gli strumenti per il trasferimento dei contenuti (moduli didattici in vari format, loro relativa qualità e completezza, efficacia didattica e comunicativa); la tipologia della docenza (sincrona e asincrona); l'assistenza didattica e motivazionale svolta a distanza. le funzionalità del sistema organizzativo /gestionale /logistico (ambienti, infrastrutture, sistemi di registrazione, iscrizione e tracking); le funzionalità della piattaforma di gestione in relazione al loro impatto sull'erogazione dei percorsi formativi. La raccolta e l'elaborazione dei dati forniti dall'azione di monitoraggio, anche nei percorsi blended, puo' essere gestita integralmente dal sistema: è essenziale a tal fine provvedere ad una verifica dello spettro dei dati «tracciabili » e delle funzioni di elaborazione predisposte.

5.3.3. Valutazione degli interventi formativi. L'attività di valutazione - intesa come ponderazione e interpretazione di dati ed elementi rilevati durante l'azione formativa e a valle dei processi realizzati

-è finalizzata a evidenziare i risultati raggiunti, in termini di modifiche verificate e riscontrabili. Questa valutazione, che attiene, sia alle persone coinvolte che all'organizzazione nel suo complesso, si basa sulla misurazione dei risultati oggetto di osservazione, che sulla quantificazione del divario riscontrato rispetto agli standard (parametri ed indicatori che ciascuna amministrazione deve rilevare), qualitativi e quantitativi, definiti in fase di progettazione. Degli strumenti di valutazione vanno verificate: l'affidabilità, cioè la persistenza di osservazione nel tempo e in contesti differenti; la validità e l'efficacia, che non devono essere soggette a possibili azioni di disturbo da parte di fenomeni esterni; l'utilità, cioè la capacità di valutare esattamente l'oggetto al quale sono destinati.

6. Componenti di costo di un progetto di e-learning. Gli elementi di costo di un progetto complesso possono essere rappresentati con diverse modalità che, in relazione alla dimensione del progetto stesso, tengono conto:

1. delle fasi in cui esso si articola;

2. delle componenti del sistema e delle risorse umane;

3. dei rapporti con i fornitori. Si indicano, qui di seguito, le componenti di costo definite sulla base delle modalità di esecuzione del progetto e delle dimensioni prese in considerazione. Per quanto attiene alle fasi in cui si articola, l'e-learning puo' essere descritto come un processo che comprende i seguenti sotto-processi

a) analisi

b) disegno

c) sviluppo

d) implementazione

e) valutazione. Per quanto riguarda le componenti del sistema e le risorse umane, la struttura dei costi sottesa ad un sistema e-learning - come accennato nella direttiva

-è in larga parte commisurata all'insieme dei seguenti fattori:

1. analisi organizzativa;

2. servizi (progettazione, erogazione, gestione e monitoraggio);

3. tecnologie (piattaforme e infrastrutture);

4. contenuti (produzione e manutenzione). Questi ultimi rappresentano la componente tendenzialmente piu' onerosa, in termini economici, qualitativi o organizzativi. Il motivo di fondo è legato alla necessità di disporre di figure professionali specifiche per il processo di generazione dei materiali (almeno per quanto concerne il Project Manager, l'Instructional Designer, l'esperto dei contenuti e il team di sviluppo). Cio' impone un'attenta valutazione in ordine alle opzioni da operare circa:

1. l'acquisizione di materiali cosiddetti off-the-shelves, ossia a catalogo;

2. la progettazione e la costruzione dei materiali: a. da parte della stessa amministrazione; b. da parte del fornitore. La scelta da effettuare è legata ad un esame comparativo che tiene conto, da un lato, della rispondenza dei contenuti alle esigenze formative dello specifico progetto; dall'altro, dell'impegno economico che viene richiesto. Per le altre componenti, come detto, esistono varie soluzioni disponibili e tra loro integrabili - che possono essere offerte anche da differenti prodotti/ fornitori - per progettare e realizzare un sistema e-learning. Per quanto riguarda i rapporti con i fornitori, nell'ambito delle varie piattaforme, uno dei criteri economici piu' significativi da considerare per la scelta di soluzioni e componenti tecnologiche differenti è rappresentato dalla valutazione del modello di licenze proposto dal fornitore. Quest'ultimo, infatti, potrà fortemente influenzare, a parità di funzionalità tecniche offerte, la scelta in base alla valutazione economica dei differenti sistemi. Esistono diversi modelli di licenze per i singoli componenti, che presentano caratteristiche economiche diverse; al riguardo il progettista dovrà identificare e farsi indicare nel dettaglio, dal fornitore, la tipologia di licenza adottata per ogni specifico componente fornito. I modelli di licenze attualmente utilizzati per i vari componenti e-learning (in particolare, LMS, LCMS e VC) sono

a) licenze off line, a licenza installata su singolo pc: prevedono un costo a postazione senza interazione/verifica su server centrale e sono particolarmente impiegate per sistemi e tool autore; possono essere a no minativo o a installazione fisica: il secondo tipo è preferibile in quanto, a parità di utenze acquisite, consente l'accesso a qualunque utente

b) licenze a utenti nominali: prevedono un costo a postazione per utente nominale registrato, senza possibilità di variare i nominativi iscritti; la verifica puo' essere effettuata su base unicamente contrattuale o mediante autenticazione/verifica su server centrale

c) licenze a utenti non nominali: sono analoghe alle precedenti, ma offrono, inoltre, la possibilità di riallocazione della stessa licenza ad un altro utente

d) licenze a utenti concorrenti: prevedono un costo per ogni utente collegato in contemporanea al server centrale; sono molto usate per piattaforme sincrone e stanno comparendo anche in unaversione che presenta opzioni per sistemi LMS asincroni. Per paragonare i costi di licenze a utenti concorrenti a quelli di licenze a utenti nominali (seats) occorre valutare quanti utenti saranno contemporaneamente attivi rispetto a quelli iscritti al servizio

e) licenze a server (CPU): prevedono un costo a server centrale a volte piu' elevato rispetto a quelli dei modelli precedenti; nel caso di valutazione alternativa a quella di licenze ad utenti non nominali, occorre stimare il numero prevedibile di utenti che il server centrale deve supportare

f) servizi ASP: prevedono l'erogazione di servizi con un sistema installato presso terzi, con licenze a consumo e possibilità di quantificazione a corso/mese/utente. Poichè esistono molte tipologie di servizi ASP è opportuno considerare se i relativi costi includono quelli di connettività e housing/hosting della soluzione e, inoltre, se esistono limiti massimi di corsi e durate temporali minime per la sottoscrizione al servizio. L'Ente che intende avviare corsi di e-learning per i propri dipendenti, deve tener conto, infine, delle seguenti voci: costi ripartiti su piu' attività formative: computer e accessori adeguati; installazione adeguata per connessione rete; disponibilità di soluzioni hardware (server dedicati, connessioni veloci, consumi di utilizzo); personale tecnico di servizio; tempo da dedicare al corso per partecipante; acquisti di materiali di supporto; spese generali per utenze di ufficio (elettricità, telefono, riscaldamento, etc.); promozione istituzionale, costi diretti per singolo corso: spese di trasferta, per ciascun partecipante, relative alla sua eventuale partecipazione a sessioni di formazione da svolgere in aula; oneri connessi alla realizzazione di eventuali sessioni di formazione in aula (affitto di locali attrezzati, spese di viaggio e soggiorno sostenute per i docenti, spese per materiali di consumo e per materiali didattici).

7. Considerazioni finali. L'emanazione, da parte del Centro nazionale per l'informatica nella pubblica amministrazione, di queste «Linee guida» - che, come detto, formano parte integrante della direttiva in materia di e-learning delle pubbliche amministrazioni